我们有兴趣从数据不足的情况下学习强大的模型，而无需任何外部预训练的检查点。首先，与足够的数据相比，我们展示了为什么数据不足会使模型更容易偏向于通常不同于测试的有限培训环境。例如，如果所有训练天鹅样本都是“白色”，则该模型可能错误地使用“白色”环境来代表内在的天鹅。然后，我们证明，均衡感应偏差可以保留类功能，而不变性电感偏差可以消除环境功能，从而使类功能概括为测试中的任何环境变化。为了将它们强加于学习，我们证明可以部署任何基于现成的基于对比度的自我监督特征学习方法；对于不变性，我们提出了一个范围的不变风险最小化（IRM），该风险最小化（IRM）有效地应对常规IRM中缺少环境注释的挑战。对现实世界基准（Vipriors，Imagenet100和Nico）的最新实验结果验证了在数据效率学习中的巨大潜力和不变性的潜力。该代码可从https://github.com/wangt-cn/eqinv获得
translated by 谷歌翻译